Intelligent Workload Scheduling in Distributed Computing Environment for Balance between Energy Efficiency and Performance

Global digital transformation requires more productive large-scale distributed systems. Such systems should meet lots of requirements, such as high availability, low latency and reliability. However, new challenges become more and more important nowadays. One of them is energy efficiency of large-scale computing systems. Many service providers prefer to use cheap commodity servers in their distributed infrastructure, which makes the problem of energy efficiency even harder because of hardware inhomogeneity. In this chapter an approach to finding balance between performance and energy efficiency requirements within inhomogeneous distributed computing environment is proposed. The main idea of the proposed approach is to use each node’s individual energy consumption models in order to generate distributed system scaling patterns based on the statistical daily workload and then adjust these patterns to match the current workload while using energy-aware Power Consumption and Performance Balance (PCPB) scheduling algorithm. An approach is tested using Matlab modeling. As a result of applying the proposed approach, large-scale distributed computing systems save energy while maintaining a fairly high level of performance and meeting the requirements of the service-level agreement (SLA)

Power Consumption and Performance Balance (PCPB) scheduling algorithm for computer cluster

The problem of energy consumption is topical in every sphere of human activity nowadays. This problem is especially important for IT (information technologies), where the amount of data that needs to be processed is growing every day. In this paper PCPB (Power Consumption and Performance Balance) algorithm has been proposed. It is an energy-aware scheduling algorithm which is aimed at reducing power consumption of the computer cluster without its performance reducing. The main idea of the proposed approach is to use energy model (as relation between CPU load of the node and its consumed power) for each node in the cluster and find the balance between power consumption and performance while tasks allocating. To compare PCPB with other algorithms mathematical model was developed

Порівняння стратегій оптимізації та методів прогнозування для задач планування та оптимізації радіомережі

Background. Radio network planning is one of the main phases of the cellular network lifecycle, as it determines capital and operating costs and allows system performance evaluation at any given time. An accurate and comprehensive analysis of existing network statistics is necessary for proper cell planning during network expansion. These statistics are collected throughout the life cycle of the cellular network and usually have certain imperfections (heterogeneity of statistics, which have different densities in different parts of the search space, up to the presence of significant voids, etc.) The system describing the functioning of the radio network can be represented as a black box because its internal processes are too complex to be defined by mathematical functions. This determines the need to use appropriate tools. Objective. The purpose of the paper is to create a toolkit that allows finding the proper relationships between network parameters to define target values that will help to build an effective network plan in terms of performance and costs for its creation and operation. The tools should be able to work efficiently using the minimum set of available statistical data, as well as taking into account their imperfections. Methods. Mathematical estimation and optimization methods are used, namely Ordinary Least Squares, Ridge Regression, Lasso, Elastic-net, LARS lasso, Bayesian Ridge Regression, Automatic Relevance Determination, Stochastic gradient descent, Theil-Sen estimator, Huber Regression, Quantile regression, Polynomial regression. We consider 12 estimation methods in combination with two optimization strategies. Additionally, the method of partial analysis of the search space with different number of configurations is considered. Results. A software package using the Python programming language has been created, which contains a practical implementation of all the considered estimation and optimization methods, as well as tools for evaluating arbitrary configurations of the software package (benchmark) and visualizing the results. The best estimation method is Ordinary Least Squares for finding the optimal configuration of the statistical parameters of the 4G radio network to maximize the download speed. To obtain satisfactory results, it is enough to consider 25 initial and 250 estimated points - a larger number of points will not significantly increase prediction accuracy. Conclusions. The results indicate the possibility of using the created software package for radio network planning tasks. Further research is aimed at expanding the created software package's functionality and considering additional estimation methods and optimization strategies.Проблематика. Планування радіомережі є однією з головних фаз життєвого циклу стільникової мережі, оскільки воно визначає капітальні та операційні витрати та дозволяє оцінити продуктивність системи в будь-який момент часу. Для правильного планування стільників під час розширення мережі необхідним є точний і всеосяжний аналіз існуючої статистики мережі. Ця статистика збирається протягом усього життєвого циклу стільникової мережі, та, як правило, має певні недосконалості (неоднорідність статистичних даних, які мають різну щільність в різних частинах простору пошуку, аж до наявності значних пустот, тощо). Система, що описує функціонування радіомережі, може бути представлена у вигляді чорної скриньки (black-box), оскільки її внутрішні процеси занадто складні, щоб їх можна було описати математичними функціями. Це визначає необхідність використання відповідного інструментарію. Мета досліджень. Створення інструментарію, який дозволяє знайти правильні залежності між параметрами мережі з метою визначення цільових значень, які допоможуть побудувати ефективний план мережі за критеріями продуктивності та витрат щодо її створення та експлуатації. Інструментарій повинен мати можливість якісно працювати з використанням мінімального набору наявних статистичних даних, а також враховувати їхню недосконалості. Методика реалізації. Розглянуто 12 методів прогнозування в комбінації з двома стратегіями оптимізації. Додатково розглянуто методику часткового аналізу простору пошуку з різною кількістю конфігурацій. В роботі використано математичні методи прогнозування та оптимізації, а саме Ordinary Least Squares, Ridge Regression, Lasso, Elastic-net, LARS lasso, Bayesian Ridge Regression, Automatic Relevance Determination, Stochastic gradient descent, Theil Sen estimator, Huber Regression, Quantile regression, Polynomial regression. Результати досліджень. Створено програмний комплекс з використанням мови програмування Python, що містить практичну реалізацію всіх розглянутих методів прогнозування та оптимізації, а також засоби оцінювання довільних конфігурацій програмного комплексу (benchmark) та візуалізації отриманих результатів. Для задач пошуку оптимальної конфігурації статистичних параметрів радіомережі 4G з метою максимізації швидкості завантаження, найкращим методом прогнозування є Ordinary Least Squares. Для отримання задовільних результатів достатньо розглянути 25 початкових і 250 оціночних точок – більша кількість точок не дасть значного приросту точності прогнозування. Висновки. Отримані результати вказують на можливість використання створеного програмного комплексу для задач планування радіомережі. Подальші дослідження направлені на розширення функціоналу створеного програмного комплексу, а також на розгляд додаткових методів прогнозування та стратегій оптимізації